Update help for build to show number of jobs (#2805)

Auto merge of #2795 - alexcrichton:test-and-harness, r=brson

Fix `harness = false` on `[lib]` sections

Now that this is fixed upstream, we can actually add a test for this!

Closes #2305

Fix `harness = false` on `[lib]` sections

Now that this is fixed upstream, we can actually add a test for this!

Closes #2305

Auto merge of #2793 - matklad:doc-fix, r=alexcrichton

Fix reference to the guide in the docs

Overrides description was moved from the Guide to the Specifying
Dependencies section.

It would be nice to provide a hyperlink here, but I guess it is not possible.

Fix reference to the guide in the docs

Overrides description was moved from the Guide to the Specifying
Dependencies section.

Auto merge of #2788 - Manishearth:improve-help, r=alexcrichton

Clarify where full list of subcommands can be found

None

Clarify where full list of subcommands can be found

Auto merge of #2787 - alexcrichton:links-with-dots, r=brson

Don't re-look-up tables to avoid dots problem

If a `links` value has a `.` in the name Cargo would previously panic, but this
alters the code to be more principled about lookup in tables to ensure that we
don't misinterpret the names.

Closes #2786

Don't re-look-up tables to avoid dots problem

If a `links` value has a `.` in the name Cargo would previously panic, but this
alters the code to be more principled about lookup in tables to ensure that we
don't misinterpret the names.

Closes #2786

Auto merge of #2630 - alexcrichton:build-script-warnings, r=brson

Add build script warnings, streaming output from build scripts to the console

These commits add a few features to Cargo:

* Cargo now recognizes the `warning` key in build scripts and will print warnings *after a build script has completed* if the build script is for a path dependency. That is, if a build script prints `cargo:warning=foo` then Cargo will forward that to the console if the crate's being developed.

* Cargo now accepts multiple `-v` flags for all commands. The `-vv` flag prints warnings for *all* upstream crates, not just the local ones.

* When the `-vv` flag is passed Cargo will stream the output of all build scripts to the console, allowing more easy debugging of what happened if the build fails later on.

More details can be found in each commit, and otherwise this

Closes #1106

Stream build script output to the console

This commit alters Cargo's behavior when the `-vv` option is passed (two verbose
flags) to stream output of all build scripts to the console. Cargo makes not
attempt to prevent interleaving or indicate *which* build script is producing
output, rather it simply forwards all output to one to the console.

Cargo still acts as a middle-man, capturing the output, to parse build script
output and interpret the results. The parsing is still deferred to completion
but the stream output happens while the build script is running.

On Unix this is implemented via `select` and on Windows this is implemented via
IOCP.

Closes #1106

Allow specifying -v multiple times

This commit modifies the CLI interface to allow the verbose (-v) flag to be
specified multiple times. This'll be used soon to have `-vv` indicate that more
output should be generated than `-v` during a normal build.

Currently this commit changes the behavior of whether warnings are printed to
print warnings for the **entire DAG of dependencies** if `-vv` is specified.
That is, `--cap-lints` is never passed nor is any warning from build scripts if
`-vv` is specified.

Forward warnings from build scripts

This adds support for forwarding warnings from build scripts to the main console
for diagnosis. A new `warning` metadata key is recognized by Cargo and is
printed after a build script has finished executing.

The purpose of this key is for build dependencies to try to produce useful
warnings for local crates being developed. For example a parser generator could
emit warnings about ambiguous grammars or the gcc crate could print warnings
about the C/C++ code that's compiled.

Warnings are only emitted for path dependencies by default (like lints) so
warnings printed in crates.io crates are suppressed.

cc #1106

Auto merge of #2720 - alexcrichton:ignore-nfs-more-often, r=brson

Ignore file locks on OSX NFS mounts

We already ignore NFS on Linux so let's do the same on OSX as well.

Ignore file locks on OSX NFS mounts

We already ignore NFS on Linux so let's do the same on OSX as well.

Auto merge of #2741 - alexcrichton:cdylib, r=brson

Add support for cdylib crate types

And while we're at it this also extends support for all future crate types
assuming that they aren't linkable by default.

Auto merge of #2680 - alexcrichton:update-toml, r=brson

Update TOML parser to pick up a bugfix

Cargo has previously accepted invalid TOML as valid, but this bugfix should fix
the problem. In order to prevent breaking all crates immediately toml-rs has a
compatibility mode which emulates the bug that was fixed. Cargo will issue a
warning if this compatibility is required to parse a crate.

Auto merge of #2668 - alexcrichton:dont-warn-about-metadata, r=brson

Don't warn about `metadata` keys in the manifest

External tools may want to store metadata in `Cargo.toml` that they read but
Cargo itself doesn't read. For example `cargo-apk` uses this for pieces of
configuration. Cargo unfortunately, however, warns about these keys as "unused
keys in the manifest"

This commit instead whitelists the `package.metadata` key to not warn about any
data inside.

Update TOML parser to pick up a bugfix

Cargo has previously accepted invalid TOML as valid, but this bugfix should fix
the problem. In order to prevent breaking all crates immediately toml-rs has a
compatibility mode which emulates the bug that was fixed. Cargo will issue a
warning if this compatibility is required to parse a crate.

Don't warn about `metadata` keys in the manifest

External tools may want to store metadata in `Cargo.toml` that they read but
Cargo itself doesn't read. For example `cargo-apk` uses this for pieces of
configuration. Cargo unfortunately, however, warns about these keys as "unused
keys in the manifest"

This commit instead whitelists the `package.metadata` key to not warn about any
data inside.

Add support for cdylib crate types

And while we're at it this also extends support for all future crate types
assuming that they aren't linkable by default.

Auto merge of #2781 - alexcrichton:block-if-dirty, r=brson

Prevent packaging a crate if any files are dirty

This commit alters Cargo's behavior to prevent publishing a crate by default if
any files in that crate are determined to be dirty, that is either modified or
not part of the working tree.

This can prevent common mistakes like many listed in #2063 and enables features like https://github.com/rust-lang/cargo/issues/841.

Closes https://github.com/rust-lang/cargo/issues/1597
Closes #2063

Auto merge of #2757 - alexcrichton:panic-profile-dox, r=brson

Document the `panic` profile option

Closes #2750

Auto merge of #2704 - alexcrichton:clean-no-fetch, r=brson

Don't fetch all crates on clean

Only fetch those that are needed by avoiding `ops::fetch`

Auto merge of #2779 - matklad:propagete-color-config, r=alexcrichton

Propagate --color option to rustc

closes #2740

Will try to add a test for this soon (and fix failing tests if any, compiling/running tests locally is slow :( ).

I am not sure what is the right place to add `--color` option to the command line. I use [`build_base_args`]. [`process`] also looks like a good candidate, because it is more general, but if we look at the [`CommandType`] we see that only `rustc` command supports `--color`.

[`build_base_args`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/mod.rs#L449
[`process`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/mod.rs#L608
[`CommandType`]: https://github.com/matklad/cargo/blob/1f7504397ce7c40ff708e2d31da164822e88ed37/src/cargo/ops/cargo_rustc/engine.rs#L102

Prevent packaging a crate if any files are dirty

This commit alters Cargo's behavior to prevent publishing a crate by default if
any files in that crate are determined to be dirty, that is either modified or
not part of the working tree.

This can prevent common mistakes like many listed in #2063, and subsequently...

Closes #2063

Auto merge of #2780 - Boddlnagg:patch-1, r=alexcrichton

Fix `cargo doc --open` on Windows

This fixes #2446. Note that I have not built cargo with this change, but I have tested the functionality in isolation (on Windows 10).

As to the issue itself, I don't know why the previous version didn't work, but `start` is redundant when `cmd /C` is used.

Fix `cargo doc --open` on Windows

This fixes #2446. Note that I have not built cargo with this change, but I have tested the functionality in isolation (on Windows 10).

As to the issue itself, I don't know why the previous version didn't work, but `start` is redundant when `cmd /C` is used.

Propagate --color option to rustc

Auto merge of #2778 - alexcrichton:dont-print-on-q-when-run, r=brson

Don't print extra info on -q + `cargo run`

If a process fails then it's probably printing out why and Cargo doesn't need to
do it all over again.

Closes #2735

Don't print extra info on -q + `cargo run`

If a process fails then it's probably printing out why and Cargo doesn't need to
do it all over again.

Closes #2735

Auto merge of #2777 - matklad:harness-help, r=alexcrichton

Explain how to get help for the test harness

TIL that the default test harness has a non-trivial number of options. Guess it's better to share this knowledge.

Explain how to get help for the test harness

Auto merge of #2771 - alexcrichton:update-replace, r=brson

Don't lock overrides if we're updating them

There was already a function for this, `keep`, it was just forgotten to be
called.

Closes #2766

Auto merge of #2770 - alexcrichton:new-curl, r=brson

Update to curl 0.3

Auto merge of #2763 - mbrubeck:native-dirs, r=alexcrichton

Correctly record multiple native dirs per package

This fixes a bug when a package's build script outputs multiple library search
paths.  Because Compilation::native_dirs is a `HashMap<PackageId, PathBuf>` it
can only store one path per package.  Currently if there are multiple paths,
all but the last will be inserted and then overwritten.

The key from this map is never used anyway, so this fixes the bug by changing
it from a HashMap to a HashSet.

Test for correct library search paths during cargo run

Strip native= prefix from -L arg before additing it to LD_LIBRARY_PATH

Fixes #2765.

Correctly record multiple native dirs per package

This fixes a bug when a package's build script outputs multiple library search
paths.  Because Compilation::native_dirs is a `HashMap<PackageId, PathBuf>` it
can only store one path per package.  Currently if there are multiple paths,
all but the last will be inserted and then overwritten.

The key from this map is never used anyway, so this fixes the bug by changing
it from a HashMap to a HashSet.

Auto merge of #2774 - andrehjr:patch-doc-2754, r=alexcrichton

Document file destination of build scripts.

Close #2754

Document file destination of build scripts.

Close #2754

Auto merge of #2772 - knight42:patch, r=alexcrichton

Improve autocompletion

1. Add path completion to manifest-path options
2. Support subcommand metadata

Add zsh autocompletion to subcommand metadata

zsh: add path completion to manifest-path options

Don't lock overrides if we're updating them

There was already a function for this, `keep`, it was just forgotten to be
called.

Closes #2766

Update to curl 0.3

Auto merge of #2769 - alexcrichton:no-oom-travis, r=alexcrichton

Pass -j1 on Travis

Looks like if we do things concurrently we hit the OOM killer, so let's not do
that!

Pass -j1 on Travis

Looks like if we do things concurrently we hit the OOM killer, so let's not do
that!

Document the `panic` profile option

Closes #2750

Auto merge of #2747 - WiSaGaN:feature/rename-main-thread, r=alexcrichton

Rename main thread from '<main>' to 'main'.

This pull request resolves the test failure in rust pull request 33803
https://github.com/rust-lang/rust/pull/33803

Use place holder for main thread name in tests

Auto merge of #2755 - matklad:remove-useless-formats, r=alexcrichton

Remove useless format calls from tests

Auto merge of #2752 - wesleywiser:patch-1, r=alexcrichton

Fix example in cargo manpage

Fixes #2731

Remove useless format calls from tests

Fix example in cargo manpage

Fixes #2731

Rename main thread from '<main>' to 'main'.

This pull request resolves the test failure in rust pull request 33803

Auto merge of #2742 - alexcrichton:new-error-format, r=wycats

Fix tests for RUST_NEW_ERROR_FORMAT

A few tests were a bit too strict in the output they were looking for, this
instead relaxes some assertions to just what we're interested in.

Auto merge of #2744 - alexcrichton:bump, r=alexcrichton

Bump version numbers

Working on 0.12.0 now

Bump version numbers

Working on 0.12.0 now

Fix tests for RUST_NEW_ERROR_FORMAT

A few tests were a bit too strict in the output they were looking for, this
instead relaxes some assertions to just what we're interested in.

Auto merge of #2743 - alexcrichton:better-test-suite, r=alexcrichton

Split the test suite into multiple binaries

Helps reduce compile time of tests, more ergonomic names to type, more conventional configuration, and makes it basically easier to work with.

The previous `support` module is now a separate `cargotest` crate.

Shared the test suite into multiple binaries

Compiling everything in one binary was getting annoying as it just took forever
to build, instead shard it all up so we can build just particular test suites at
a time.

Remove the test! macro

This isn't really necessary and we can do setup manually in a few cases and
lazily do it in all the others.

Auto merge of #2739 - alexcrichton:configure-colors, r=alexcrichton

Configure colors of both stdout/stderr

Previously color configuration only affected stdout, not stder as well.

Closes #2734

Configure colors of both stdout/stderr

Previously color configuration only affected stdout, not stder as well.

Closes #2734

Auto merge of #2737 - aidanhs:aphs-hash-url-serialization, r=alexcrichton

Hash url serialization to ensure hash stability

`as_str` is documented to return the serialization of a url (http://servo.github.io/rust-url/url/struct.Url.html#method.as_str).
The serialization of a url has a spec (https://url.spec.whatwg.org/#url-serializing).

Hashing the serialization of a url insulates cargo against possible decisions to alter how rust-url does hashing (I've observed it happening twice). Note that rust-url happens to do this internally (but is not guaranteed to in future) and so this change doesn't actually have any effect on hash values.

r? @alexcrichton

Closes #1710

Hash url serialization to ensure hash stability

Closes #1710

Auto merge of #2730 - alexcrichton:fix-panic-abort-build-script, r=alexcrichton

Fix build scripts and panic=abort

Build scripts were apparently always compiled with the "dev" profile rather than
the standard "match whatever the normal build was" profile, which meant that if
dev/release disagreed on panic=abort you'd get compile errors. Seems bad!

This commit fixes this by just having build scripts always compile with the same
profile as libraries (for now), as this was the original intention anyway.

Closes #2726

Fix build scripts and panic=abort

Build scripts were apparently always compiled with the "dev" profile rather than
the standard "match whatever the normal build was" profile, which meant that if
dev/release disagreed on panic=abort you'd get compile errors. Seems bad!

This commit fixes this by just having build scripts always compile with the same
profile as libraries (for now), as this was the original intention anyway.

Closes #2726

Auto merge of #2687 - alexcrichton:panic-abort, r=wycats

Implement the `panic` profile option

This is the Cargo half of the implementation of [RFC 1513] which adds a new
`profile.*.panic` option to customize the `-C panic` argument to the compiler.
This is not passed by default and can otherwise be specified as `abort` or
`unwind` on the nightly compiler.

[RFC 1513]: https://github.com/rust-lang/rfcs/pull/1513

The `profile.*.panic` option is *only* used from the top-level crate, not each
crate individually. This means that applications should customize this value as
they see fit, and libraries will only use their own value when they're being
tested.

Cargo also has specific knowledge that when *testing* a crate it can't pass
`-C panic=abort` for now as the default test harness requires `panic=unwind`.
This essentially just means that `cargo test` will continue to work for crates
that specify `panic=abort` in Cargo.toml.

Implement the `panic` profile option

This is the Cargo half of the implementation of [RFC 1513] which adds a new
`profile.*.panic` option to customize the `-C panic` argument to the compiler.
This is not passed by default and can otherwise be specified as `abort` or
`unwind` on the nightly compiler.

[RFC 1513]: https://github.com/rust-lang/rfcs/pull/1513

The `profile.*.panic` option is *only* used from the top-level crate, not each
crate individually. This means that applications should customize this value as
they see fit, and libraries will only use their own value when they're being
tested.

Cargo also has specific knowledge that when *testing* a crate it can't pass
`-C panic=abort` for now as the default test harness requires `panic=unwind`.
This essentially just means that `cargo test` will continue to work for crates
that specify `panic=abort` in Cargo.toml.

Auto merge of #2723 - alexcrichton:override-errors, r=wycats

Don't throw away errors with `-p` arguments

This was unfortunately ignoring errors which would helpfully tell you how to
rerun a command with a more precise specification.

Closes #2641

Don't throw away errors with `-p` arguments

This was unfortunately ignoring errors which would helpfully tell you how to
rerun a command with a more precise specification.

Closes #2641

Auto merge of #2722 - alexcrichton:stderr-not-stdout, r=alexcrichton

Report status to stderr -- last few tests

Fixup of #2693 for the last few tests.

Fix up last few remaining tests status-to-stderr

Merge branch 'status-2-stderr' of https://github.com/matklad/cargo into stdout-not-stderr

fix cargo_compile_path_deps

fix test_cargo_publish

fix test_cargo_freshness

fix test_compile_git_deps

fix some cargo_compile tests

fix test_cargo_bench

fix test_cargo_overrides

one more regexp

fix test_cargo_package

fix test_cargo_registry

Auto merge of #2719 - semarie:test-git-vcs, r=alexcrichton

PR #1124 have replaced `git` with `vcs`

changes test_cargo_new::author_prefers_cargo to testing configuration
with `vcs`

PR #1124 have replaced `git` with `vcs`

changes test_cargo_new::author_prefers_cargo to testing configuration
with `vcs`

more auto refactoring fixes

fix more tests with auto refactoring

more regexp fixes

fix test_cargo_install

fix exit_code tests

fix more tests

fix more test with insane regexes

fix more tests with regex

fix test_cargo_test

fix some tests with IntelliJ-Rust automated refactoring

fix some more tests with regexp

fix a bunch of tests with regexp